• r 



(19) 



J 




(12) 



(43) Veroflentlichungstag: 

1 1 .04.2001 Patentblatt 2001/1 5 

(21) Anmeldenummer: 00203418.9 

(22) Anmeldetag: 03.10.2000 



Europaisches Patentamt 
European Patent Office 

Office europeen des brevets (1 1 ) EP 1 091 573 A2 

EUROPAISCHE PATENTANMELDUNG 

(51) int. ci. 7 : H04N 5/253 



(84) Benannte Vertragsstaaten: 


(72) Erfinder: 


AT BE CH CY DE DK ES Fl FR GB GR IE IT LI LU 


• Poetsch, Dieter, Prof. 


MC NL PT SE 


52064 Aachen (DE) 


Benannte Erstreckungsstaaten: 


• Richter, Detlef, Prof. Dr. 


AL LT LV MK RO SI 


52064 Aachen (DE) 




• Kurreck, Ines-Henrike 


(30) Prioritat: 08.10.1999 DE 19948873 


52064 Aachen (DE) 


(71) Anmelder: 


(74) Vertreter: 


• Philips Corporate Intellectual Property GmbH 


Volmer, Georg, Dtpl.-lng. et al 


52064 Aachen (DE) 


Philips Corporate Intellectual Property GmbH, 


Benannte Vertragsstaaten: 


Habsburgerallee 11 


DE 


52064 Aachen (DE) 


• Koninklijke Philips Electronics N.V. 




5621 BA Eindhoven (NL) 




Benannte Vertragsstaaten: 




FR GB 





(54) Vorrichtung und Verfahren zur Wiedergabe von Lichttonaufzeichnungen 



(57) Zur Wiedergabe von Lichttonaufzeichnungen 
tastet eine opto/elektronische Wand le rein ric hi ung (1,2', 
2", 11) die Lichttonspuren (3) eines Film (4) ab. Die 
erzeugten Bilddaten der Lichttonspuren (3) sind einem 
Framegrabber (14) zur Zwischenspeicherung zugelei- 
tet. Eine Detenverarbeitungseinrichtung (13) verarbeitet 



programmgesteuert die zwischengespetcherten Bildda- 
ten. Fur eine Ton wiedergabe werden die verarbeiteten 
Bilddaten der Lichttonspuren (3) nachfolgend in digitale 
Audiodaten und/oderana(ogeTonsignale umgewandelt. 



10 



31 

./...... 



15. 



11 


14 


IcCOUNE 






FRAME 


| CAW ERA 


I 


i 12 





< 

CO 
r- 
m 



a. 
ui 



BNSDOCID: <EP_ 



= 19 



10 



18 



J6_ 



17 



20 



23 



21 



22 



a 



24 



^25 



FIG. 1 



REF. L 



DOCKET Pu^oi3^ 



Printed by Xerox (UK) 'Business Services 
2.16.7 <HfiS}/3.6 



CORRES. COUNTRY: 



BEST AVAILABLE COPY 



COUNTRY: 



EP 1 091 573 A2 



Beschreibung 

(0001] Die Erfindung betrifft eine Vorrichtung zur 
Wiedergabe von Lichttonaufzeichnungen fur einen 
Filmabtaster mit einer opto/elektronischen Wandlerein- 
richtung zur Abtastung von auf Film aufgezeichneten 
Lichttonspuren, welche an einem Ausgang ein Bildsi- 
gnal ausgibt. Ferner betrifft die Erfindung ein Verfahren 
zur Wiedergabe von Lichttonaufzeichnungen. 
[0002] Bei 35-mm-Kinofilmen zeichnet man Tonin- 
formationen auf Lichttonspuren auf, die zwischen Bild- 
informationen und sertlichen Perforations lochern liegen. 
Zur Wiedergabe der Toninformationen transportiert 
man den Film mit einer Geschwindigkeit von 24 Bildern 
pro Sekunde. Wahrend des Filmtran sports richtet man 
auf die Lichttonspuren einen Lichtstrahl. Der Lichtstrahl 
wird durch Transparenzunterschiede auf den Lichttons- 
puren moduliert und auf einen lichtempfindlichen Sen- 
sor gelenkt. Fur eine Lautsprecherwiedergabe verstarkt 
man das von dem lichtempfindlichen Sensor abgege- 
bene analoge Tonsignal. 

[0003] Es gibt unterschiedliche Lichttonspuren. Bei 
der sogenannten Sprossenschrift ist die Transparenz 
der Lichttonspur proportional zur aufgezeichneten 
Modulationsamplitude; bei der sogenannten Einzacken- 
schrift ist es die Breite der klaren Flache. Zur Reduzie- 
rung von Verzerrungen hat man eine einfache 
Doppelzacken- und zweifache Doppelzacken-Spuren 
eingefuhrt, die einander benachbart sind und die glei- 
che Modulationsinformationen tragen. Fur eine stereo- 
phone Tonwiedergabie verwendet man doppelte 
zweiseitige Lichttonspuren. 

[0004] Aftere, haufig verwendete Filme zeigen oft 
zwei Fehlerarten: Zum einen handelt es sich dabei um 
Schmutz und Staub auf der Oberflache des Films, zum 
anderen um Kratzer in Laufrichtung des Filmes, soge- 
nannte Laufschrammen, die verursacht werden durch 
mechanischen Kontakt der Filmfuhrungselemente mit 
der Filmoberflache. Lichttonspuren sind besonders 
-empfindlich gegen Storungen durch Schmutz und Krat- 
zer, deren Anzahl mit der Anzahl von Malen steigt, die 
die Kopie projiziert wird. Verzerrungen von Zischlauten 
der Sprache, ein sogenannter Donnereffekt, konnen 
durch Streufichteffekte der Zackenschrift entstehen. 
Nichtlineare Verzerrungen konnen bei der Sprossen- 
schrift durch eine nichtlineare Schwarzung entstehen, 
die z.B. bei der Abtastung von Tonnegativen vorliegt. 
Durch die relativ groBe Apertur der Spaltblende ist der 
Frequenzgang auf ca. 8 kHz begrenzt. 
[0005] Zur Restaurierung von alten Kinofilmen wird 
heute der Bildteil auf einen neuen Filmtrager kopiert 
und die Lichttonspur einspurig auf einen Magnetfilm 
ubertragen, um zu verhindern, dass durch optisches 
Kopieren der Lichttonspuren die oft verschrammten und 
teilweise durch Schmutz gestorten Tonspuren auf den 
neuen Filmtrager ubertragen werden. Ferner wird durch 
Tonnachbearbeitung mit elektronischen Filtern und 
manueller Bearbeitung versucht, Knack- und Prassel- 



2 

gerausche aus demOrginalton zu entfernen. 
[0006] In der DE 1 97 29 201 A1 ist bereits ein Film- 
abtaster mit einer Einrichtung zur Abtastung von Licht- 
tonspuren auf einem bandformigen Tragerbeschneben, 

5 bei welchem die Ton information senkrecht zur Bewe- 
gungsrichtung des Tragers mit einer opto/elektroni- 
schen Wandlereinrichtung abgetastet wird. Die 
opto/elektronische Wandlereinrichtung tastet die Tonin- 
formation zeilenweise ab, um Abtastwerte fur eine dkji- 

10 tale zweidimensionale Filterung zu erzeugen. -Die 
Lichttonspuren konnen dabei mit einem CCD-Zeilen- 
sensor abgetastet werden oder mit einem quer uber die 
Tonspuren gelenkten Lichtfleck zur Steuerung eines 
Fotosensors. 

15 [0007] Der vorliegenden Erfindung liegt die Auf- 
gabe zugrunde, eine Vorrichtung und ein Verfahren zur 
Wiedergabe von Lichttonaufzeichnungen nach der ein- 
gangs Art zu schaffen, wetehe(s) die Beseitigung von 
Storungen ermoglicht. 

20 [0008] Diese Aufgabe wird gelost durch eine Ein- 
richtung zur Signalaufbereitung, welche an einem Ein- 
gang das Bildsignal vom Ausgang der 
opto/elektronische Wandlereinrichtung empfangt und 
als Bilddaten zwischenspeichert. eine Datenverarbei- 

25 tungseinrichtung zur programmgesteuerten Verarbei- 
tung der zwischengespeicherten Bilddaten, und eine 
Einrichtung zur Umwandlung verarbeiteter Bilddaten in 
Audiodaten fur die Wiedergabe der auf den Lichttons- 
puren aufgezeichneten Toninformation. 

30 [0009] Die Erfindung weist den Vorteil auf, dass das 
durch Abtasten der Lichttonspuren erzeugte Signal 
nicht mehr - wie bisher ublich — als analoges Tonsignal 
bearbeitet wird, sondern als Bildsignal. Die Datenwerte 
eines Abbildes der abgetasteten Lichttonspuren werden 

35 zunachst zwischengespeichert und in einem Bildbear- 
beitungsprozess programmgesteuert aufbereitet, bevor 
die Bilddatenwerte in Audiodaten we rte umgewandelt 
werden und dann ein Tonsignal zur Wiedergabe der 
Lichttoninformation erzeugt wird. 

40 [0010] Bei einer Ausgestaltung der Erfindung ist 
vorgesehen, dass der Film von einer Filmtransportein- 
richtung in Langsrichtung transportierbar und im 
Bereich der Lichttonspuren von einem Bildsensor, ins- 
besondere einem CCD-Zeilensensor, quer zur Langs- 

45 richtung des Films abtastbar ist. In einem Filmabtaster, 
der bereits fiir kontinuierlichen Filmtransport und zur 
zeilenweisen Abtastung von F r ilmbilder eingerichtet ist, 
lasst sich eine getrennt zur Bildabtastung betriebene 
CCD-Zeilenkamera fiir die Abtastung der Lichttonspu- 

so ren sehr einfach in der Lage, Drehung und Fokussre- 
rung einstellen. Ein vorhandenes Beleuchtungssystem 
fur die Bikiabtastung lasst sich vorteilhaft auch fur die 
CCD-Zeilenkamera der Lichttonspuren einsetzen. 
[0011] Bei -einer anderen Ausgestaltung ist vorge- 

55 sehen, dass die D ate nverarbeitungsain richtung durch 
ein Programm ^o steuerbar tst, dass die Abtastrate der 
opto/elektronischen Wandlereinrichtung mit der von -der 
Filmtransporteinrichtung bestimmten Filmtransportge- 
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schwindigkeit zeitlich verkoppelbar ist. Durch die zeitli- 
che Verkopplung bleibt bei unterschiedlichen 
Filmtransportgeschwindigkeiten nicht nur die Zahl der 
Zeilen pro Filmbild gleicht, sondern auch die Daten- 
menge pro Filmbild. 

[0012] AuBerdem lassen sich durch diese MaG- 
nahme unterschiedliche Filmgeschwindigkeiten wah- 
len. So konnen zur Anpassung an die maximale 
Datenrate der opto/elektronischen Wandlereinrichtung 
neben der Abtastung in Echtze'rt mit 24 Bildern pro 
Sekunde auch Geschwindigkeiten von 12 und 6 Bildern 
pro Sekunde eingestellt werden. Oerart geringe Daten- 
raten konnen gewunscht sein, wenn man langsame und 
damit preiswerte opto/elektronischen Wandle rein rich- 
tungen einsetzen mochte. 

Verkoppett man daruber hinaus die Abtastrate fur das 
Tonsignal mit der Zeilenfrequenz der opto/elektroni- 
schen Wandlereinrichtung, so erhalt man weitere Vor- 
teile. Bei einer Abtastung von beispielsweise 2000 
Zeilen pro Filmbild konnen als Bildrahmen fur die Licht- 
tonspuren 2000 Zeilen mit jeweils 512 Pixeln festgelegt 
werden. Mit einer Film von 6 Bildern pro Sekunde 
kommt man auf eine Zeilenfrequenz von 12 kHz. Durch 
eine spatere Umwandlung der Bilddaten in Audiodaten 
erreicht man fur 24 Bilder pro Sekunde eine Zeilenfolge 
von 48 kHz, d.h. eine Zeile entspricht einem Audioab- 
tastwert nach dem AES/EBU-Standard. Bei dieser Fest- 
legung konnen vorteilhaft aufwendige 
Interpolationsfilter zur Umsetzung auf Abtastfrequen- 
zen nach dem AES/EBU-Standard entfallen. 
[0013] Verkoppelt man ferner die Taktfrequenz fur 
den Filmtransportservo eines Filmabtasters mit der Zei- 
lenfrequenz der opto/elektronischen Wandlereinrich- 
tung, beispielsweise die Horizontalfrequenz einer CCD- 
Kamera, erzielt man ein driftfreie Verkopplung von Ton- 
und Bildinformation, so dass nach der programmge- 
steuerten Bearbeitung von Datenwerten der Lichttons- 
puren eine synchrongenaue Zusammenfuhrung von 
Bild und Ton mdglich ist. 

[0014] Gemaf3 einer Weiterbildung der Erfindung ist 
vorgesehen, dass die durch Abtasten der Lichttonspu- 
ren erzeugten Bilddaten in einem RAW-Dateiformat in 
den Speicher schreibbar sind, dass die Bilddaten des 
RAW-Date'rformats programmgesteuert aus dem Spei- 
cher lesbar und uber ein Bussystem einer CPU zufuhr- 
bar sind, dass die CPU von empfangenen Bilddaten des 
RAW-Dateiformats durch programmgesteuerte Bildver- 
arbeitung ein Datensignal in einem WAV-Dateiformat 
ableitet und dass von dem Datensignal des WAV-Datei- 
formats ein Audiosignal zur Wiedergabe der auf den 
Lichttonspuren aufgezeichneten Toninformationen 
erzeugbar ist. 

[0015] In einer bevorzugten Ausfuhrungsfonm ist 
die CPU durch ein Programm so steuerbar, dass eine 
Fehleranalyse zurOetektion von Fehlstellen im Bereich 
der Lichttonspuren Anhand von abgeleiteten Bilddaten 
der Lichttonspuren durchf uhrbar und detektierte Fehlst- 
ellen fehlerverdeckbar sind. Oabei werden die durch 



Abtasten erzeugten Oaten we rte der Lichttonspuren 
zunachst als Datenwerte von Bildinhalt behandelt. Die 
Datenwerte der als Bildinhalt betrachteten Lichttonspu- 
ren werden mit aus der Bildbearbeitung bekannten Mit- 

5 teln untersucht, um Fehlstellen im Film zu ermitteln, die 
durch Kratzer und/oder Schmutz verursacht sein k6nn- 
ten. Ein Verfahren und eine Schaltungen zum Erkennen 
und Verdecken von Kratzern und/oder Schmutz auf Film 
ist beispielsweise aus der DE 44 32 787 A1 bekannt. 

to [0016] Komplexe Datenformate mit HeadeMErzeu- 
gung fuhren zu einer geringen Transfer-Oaten rate. 8ei 
einer vorteilhaften Ausfuhrungsform der Erfindung ist 
ein Programm zur Steuerung der programmgesteuer- 
te n Datenverarfoertungseinrichtung so -gestaltet, dass 

is die Bilddaten in einem RAW-Oateiformat zwischen- 
gespeichert werden, bevor sie einer Filterung unterwor- 
fen werden. Das RAW-Oateiformat stellt eine einfache 
Anordnung der Pixel ohne Kompressionsverfahren dar 
und kann Date ten beliebiger Lange erzeugen. In dem 

20 RAW-Dateiformat benotigt man fur ein /Tonbild" mit 512 
Pixel horizontal und 2000 Zeilen vertikal bei einerOuan- 
ftsierung von 8 Bit eine Speicherkapazitat von 1 MByte. 
Bei'<einer Filmtransportgeschwindigkeit von 24 Bilder 
pro Sekunde sind fur die Oauer einer Sekunde 24 

25 MByte an Daten zu erzeugen. 

[0017] Die zur Abtastung der Lichttonspuren einge- 
setzten CCD-Sensoren sind produktionsbedingt unter- 
schiedlich empfindlich. In dem Abtastsignal entsteht 
eine St6rstruktur, die als Fixed Pattern Noise (FPN) 

30 bezeichnet wird. FPN kann auch durch eine ungleich- 
maBige Beleuchtung des Film entstehen. 
{0018] Bei einer vorreilhaften Ausgestaltung der 
Erfindung ist ein Mittel zur Korrektur von Fixed- Pattern- 
Noise-Fehlern vorgesehen, oei welchem die ohne Abta- 

35 -stung von Film erzeugten Bilddaten -einer bestimmte 
Anzahl von Zeilen zeilenweise in ein Feld geschrieben 
werden, dann spaltenweise aus dem -Feld gelesen und 
einer multiplikativen Korrektur gemaB der Funktion 

9 neu < x ) = <9 fpn / 9 fpn W) * 9 a»< x ) unterworfen wer- 
40 den. 

[0019] Es wird eine eindimensionate horizontale 
FPN-Korrektur im Ortsbereich durchgefuhrt. Die Kor- 
rektur erfolgt durch Division und Skalierung der Licht- 
tonspur-Bildpunkte mit zugehorigen -Bildpunkten, die 

45 vor einer Lichttonspurabtastung programmgesteuert 
erzeugt wurden, indem bei offenem Filmbildfenster von 
Oaten einer Vielzahl von Zeilen, beispielsweise 2048 
Zeilen mit jeweils 512 Bildpunkten, durch arithmetische 
Mrrtlung die -Grauwerte in "Spaltenrichtung berechnet 

so werden und als FPN-Bild zusammen mit der zugehori- 
gen 8ilddatei zwischengespeichert wird. 
[0020] Storungen konnen auch auf «chlechte Aus- 
leuchtung bei der ^ilmaufnahme Oder Kopierfehler 
zuruckzufuhren sein. Solche 'Storungen werden als 

55 Shading-Fehler bezeichnet. Snading-Fehler treten hau- 
fig am linken und rechten Rand der Lichttonspuren auf. 
€s kann dabei sein, dass Teiledes Films unterschiedli- 
che lokale Shading-Fehler aufwersen. 
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[O021] GemaB einer vorteilhaften Weiterbiidung der 
Erfindung ist ein Mittel zur Korrektur von Shading-Feh- 
tern vorgesehen ist, welches von Fixed-Pattern-Noise- 
korrigierten Bilddaten der Lichttonspuren eine Aus- 
gleichskurve gemaB der Polynomfunktion 

g(x)=£a i x i 

erzeugt, welche die durch Abtastung der Lichttonspuren 
erzeugten Bilddaten muttiplikativ beeinflusst. Vorteilhaft 
werden dabei Randbereiche der Lichttonspuren, die 
keine Toninformation enthalten, ausgeblendet. 
[0022] Kopierfehler oder Streulicht konnen am 
Rand von Lichttonspuren in Sprossenschrift oft Fehler 
verursachen, die in der Filmperfo ration und/oder dem 
Filmbildstrich begrundet sind. Diese Fehler sind durch 
Storfrequenzen von 24 Hz und deren OberweHen 
gekennzeichnet. Im Gegensatz zu konventionellen Ton- 
restaurierungsverfahren, die steile Kerbfilter zur Ausfil- 
terung der 24-Hz-Anteile einsetzen, entstehen bei der 
erfindungsgemaGen Lichttonspurbearbeitung der keine 
storenden Artefakte. 

[0023] GemaB einer vorteilhaften Ausgestaltung 
der Erfindung ist vorgesehen, dass die CPU durch ein 
Programm so steuerbar ist, dass Fehler in Bilddaten 
von Lichttonspuren, die in Sprossenschrift aufgezeich- 
net sind, nach einem Grauwerthistogramm detektierbar 
sind. 

[0024] Die auf einem Film chemisch gespeicherte 
Bildinformationen werden in der Regel parallel von einer 
Time-Code-Information begleitet, urn bestimmte Bilder 
auf dem Film zu lokalisieren. In einer Ausgestaltung der 
Erfindung ist vorgesehen, dass auch fur die auf den 
Lichttonspuren befindiichen Toninformationen eine 
Time-Code-Information erzeugt wird. Dieses geschieht 
erfindungsgemaft mit einem Mittel zur Erzeugung eines 
Timecode -Signals, welches von RAW- D ate n und/oder 
WAV-Date n und/oder Daten der Filmtransporteinrich- 
tung des Filmabtasters ableitet. 

[0025] GemaB einer weiteren Ausgestaltung der 
Erfindung ist vorgesehen, dass die Position der 
opto/elektronischen Wandlereinrichtung zur zeilenwei- 
sen Abtastung der auf Film aufgezeichneten Lichttons- 
puren unabhangig von der Position einer 
opto/elektronischen Wandlereinrichtung zur Abtastung 
der auf dem Film aufgezeichneten Bildern einstellbar 
ist. Dadurch laBt sich die Position einer opto/elektroni- 
schen Wandlereinrichtung fur die Lichttonspuren in 
bezug auf die Lage der auf Film aufgezeichneten Licht- 
tonspuren sehr genau justieren. Zur Kontrolle der Ein- 
stellungen von Lichtquelle und Zeilensensor 1 1 ist es 
vorteilhaft, die Lichttonspur als Bild auf einem Bildmoni- 
tor wiederzugeben und/oder die durch Abtasten der 
Lichttonspuren erzeugten Tonsignale auf dem Sicht- 
schirm eines Oszilloskops darzustellen und/oder die 
von den Lichttonspuren abgeleiteten Tonsignale abzu- 



horen. Dem Oszilloskop wird vorteilhafterweiseein ana- 
loges Bildsignal des Zeilensensors 11 zugefuhrt. Auf 
dem Schirm des Oszilloskops konnen Einstellungen fur 
den Lichtstrom, die Fokussierung, die horizontate 4_age 
5 des CCD-Zeilensensors zur Lichttonspur Oder auch die 
Spurneigung (Azimuth) bei symmetrischemSpurbildfur 
eine Zeile gepriift werden. 

[0026] Im Gegensatz zur bisher Oblichen Lichtton- 
abtastung erfolgt die Lie htton abtastung nach der vorlie- 

io genden Erfindung .transformatorios". Von den 
Lichttonspuren konnen Tonsignale abgeleitet werden, 
die Frequenzen im Bereich von 0 bis 70 Hz umfassen. 
Zur Einhaltung des Standards sind diese niederfre- 
quenten Signalanteile durch Hochpassfilterung zu 

is unterdriicken. Entsprechend -so lite fur Tonaufnahmen 
nach dem sogenannten Acadamy--Frequenz<jang der 
Bereich oberhalb von 10 kHz durch Tiefpassfitterung 
unterdriickt werden. Eventuelle Spaltverluste des CCD- 
Zeilensensors lassen sich nach einer sin<x)/x-Funktion 

20 ausgleichen. 

[0027] Die Auswirkungen von Filmschrammen und 
— Kratzern auf den Lichttonspuren eines Film lassen 
sich durch die Verwendung einer opto/elektronischen 
Wandlereinrichtung mit drffuser Beleuchtungseinrich- 

25 tung verringern. Eine andere vorteilhafte Losung 
besteht darin, eine opto/etektronische Wandlereinrich- 
tung mit einer Vorrichtung zur Nassabtastung des Films 
zu verwenden. 

[0028] Bei einer vorteilhaften Weiterbiidung der 

30 Erfindung ist vorgesehen, dass Werte von fehlerhaften 
Bilddaten der abgetasteten Lichttonspuren durch Mittel- 
werte von ortlich und/oder zeitlich benachbarten fehler- 
freien Bilddaten ersetzt werden. Zur Fehlerverdeckung 
von groBeren Fehler-Clustern in Zeilenrichtung ist es 

35 vorteilhaft, dass die Werte mehrerer, in Zeilenrichtung 
aufeinandertolgender fehlerhafter Bilddaten durch 
einen Mittelwert ersetzt werden, welcher<iem mittleren 
Grauwert aufeinander folgender Zeiten-entspricht. 
[0029] Zur Verringerung von Rauschanteilen und 

40 Intermodulationsprodukten in Audiosignalen bei -der 
Wiedergabe von Lichttoneufzeichnungen in Sprossen- 
schrift wird nach einer Weiterbiidung der Erfindung vor- 
geschlagen, dass der Rauschanteil von Filmkorn durch 
eine Fast- Fourier- Analyse der Bilddaten in Zeilenrich- 

45 tung gemessen wird, und dass der gemessene Rausch- 
anteil im Sinne einer Rauschreduzierung mit den 
Bilddaten in Spaltenrichtung multipliziert wird. 
[0030] 2ur Vereinfachung und EmShung der Wirk- 
samkeit der KorrekturmaBnahmen ist ^s vorteilhaft, 

so dass die Bilddaten der abgetasteten ^Lichttonspuren in 
folgender Reihenfolge einer Bildverarbeitung unterwor- 
fen werden: 

a) Durchfuhrung einer Fixed-Pattern-Notee-Korrek- 
55 tur, 

b) Durchfuhrung einer globalen Vorfitterung, ins- 
besondere einer planaren Tiefpassfitterung, 

c) Abtrennen von Bilddaten anl^ndbereichen der 
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Lichttonspuren (3), 

d) Korrektur von Shading-Fehlern, 

e) Durchfuhrung einer lokalen Fehlerbehandlung 
und 

f) Durchfuhrung einer globalen Nachfilterung. 5 

[0031] Die Erfindung wird nun anhand von in den 
Zeichnungen dargestellten Ausfuhrungsbeispielen 
naher beschrieben und erlautert. Es zeigen: 

w 

Fig. 1 eine Abtasteinrichtung fur Lichttonspuren 
und ein Blockschattbild zur Verarbeitung von 
Bilddaten abgetasteter Lichttonspuren 
gemaG der Erfindung, 

Fig. 2 ein Stuck Rlmstre'rfen eines 35-mm-Kino- is 
films, 

Fig. 3 eine Lichttonspur in Sprossenschrift mit Krat- 

zern in Filmlaufrichtung, 
Fig. 4 die Prinzipdarstellung einer Dateistruktur zur 

Berechnung von Fixed Pattern Noise und 20 
Fig. 5 die Darstellung des Grauwertverlaufs einer 

Abtastzeile. 

[0032] Gleiche Teile sind in der Figuren mit gleichen 
Bezugszeichen versehen. 2s 
[0033] In der Fig. 1 bezeichnet 1 eine Beleuch- 
tungsquelle. Das Licht der Beleuchtungsquelle 1 ist 
uber eine Kondensoroptik 2' und 2" auf Lichttonspuren 

3 eines Films 4 gerichtet. 

[0034] Die Fig. 2 zeigt die Position der Lichttonspu- 30 
ren 3 auf dem Film 4. Bei einem 35-mm-Kinofilm haben 
die Lichttonspuren 3 eine Spurbreite von 2,5 mm; sie 
liegen auf einer Seite zwischen 22 mm brerten Filmbild- 
fenstern 5 und einer ersten Perfo ratio nsspur 6'. Eine 
zweite Perforationsspur 6" verlauft auf der anderen 35 
Seite der Filmbildtenster 5. Die Pertorationsspuren 6' 
und 6" dienen zum Filmtransport. Die Bildhdhe betragt 
bei einem 35-mm-Kinofilm 16 mm; der Bildstand weist 
19 mm auf. Der Raum zwischen den Filmbildfenstern 5 
bezeichnet man als Bildstrich 7. «o 
[0035] Zum Filmtransport g re if en zwei Zahnrollen 8 
und 9 in Perforationslocher der seitlich des Films 4 ver- 
laufenden Perforetionsspuren 6' und 6". Die Zahnrollen 
8 und 9 stehen in Wirkverbindung mit Motoren (nicht 
dargestelrt), deren Drehzahl von einem Filmtransport- <s 
servo 10 geregelt wird. Die Transportgeschwindigkeit 
eines 35-mm-Kinofilms betragt 24 Bilder pro Sekunde 
(= 45,6 cm/s). 

[0036] Auf der gegenuberliegenden Seite des Films 

4 befindet sich eine Zeilenkamera 1 1 zum Empfang des so 
durch die Lichttonspuren 3 modulierten Lichtes. Die 
Zeilenkamera 1 1 enthalt einen CCD-Zeilensensor mit 
512 Bildsensoren. Die Zeilenkamera 11 gibt ein RS- 
422-Datensignal in einer Wortbreite von 8 Bit pro Pixel 

ab. Das RS-422-Datensignal der Lichttonspuren 3 ss 
gelangt uber einen Dateneingang 12 zu einer pro- 
grammgesteuerten Datenverarbeitungseinrichtung 13. 
[0037] Die Datenverarbeitungseinrichtung 13 ent- 



halt einen Framegrabber 14, lessen JEingang mit<tem 
Dateneingang 12 der Datenverarbeitungseinrichtung 13 
verbunden ist. Ein Ausgang des framegrabbers 14 ist 
an .einem Bussystem 15 angeschlossen. An -dem Bus- 
system 1 5 sind ferner angeschlossen: Bine CPU 1€, «in 
Speicher 17 zur Programm- und Date rtspeiche rung, ein 
Interface 18 mit einer Ktemme 19 zur Obertragung von 
Servodaten von und zu dem Tilmtransportservo 10, 
eine Videoausgabeeinrichtung 20 mit «einer Ausgangs- 
klemme 21 zur Obertragung eines Videosignals zu 
einem Monitor 22 und eine Audioausgabeeinrichtung 
23 mit einer Ausgangsklemme 24 zur Obertragung 
eines Audiosignals zu einem Lautsprecher 25. 
[0038] Der Framegrabber 14 bereitet die von der 
Zeilenkamera 1 1 erzeugte serielle Bilddatenfotge der 
Lichttonspuren 3 auf, speichert sie zwischen und teitet 
sie in einer Auflosung von 8 Bit uber das Bussystem 1S 
zu einem Speicher 17 weiter, in welchem die -Bilddaten 
in einem RAW-Dateiformat gespeichert werden. Oer 
Framegrabber 14 weist einen Ausgang «{gestrichelt 
gezeichnet) zur Synchronisierung der .Zeilenkamera 1 1 
auf. Zur Begrenzung der Date nubertragungs rate kann 
die Abtastfrequenz von 24 Bildern pro Sekunde auf 6 
Bilder reduziert werden. Tastet man die Lichttonspuren 
3 mit 2000 Zeilen pro FilmbikJ ab.-erhalt man mit einer 
auf 6 Bilder reduzierten Filmtransportgeschwindigkeit 
eine Nyquistfrequenz von 24 kHz. In diesem fall ist fur 
eine Sekunde digitalisierten Filmtons-eine Datenmenge 
von 24 MByte in dem Speicher 17 zu speichern. 
{0039] Die vom Framegrabber 14 •erz-eugten Film- 
tonbilddaten werden aufgrund dergroBen Datenmenge 
vorzugsweise in einen Platte nspeiher des Speichers 17 
geschrieben. Anwendungsprogramme ^ur Beaibeitung 
der Daten der Lichttonspuren sowie zur Regelung des 
Filmtransports werden in RAM- und ROM-Speichern 
des Speichers 17 gespeichert. 

[0040] Um wahrend der LichttonspuraWastung die 
"Einstellung der Lichtquelle 1 und der Zeilenkamera 11 
sowie die Toninformation durch Bilddarstellung zu kon- 
trollieren, ist die Videoausgabeeinrichtung -20 vorgese- 
hen, welche die digitalen Bilddaten der Zeilenkamera 
1 1 in ein analoges Videosignal zur Darstellung auf dem 
Monitor 22 umwandelt. 

[0041] Zur Bitdkontrolle der Lichttonspuren kann 
ein analoges Videosignal auch dir-ekt vom Ausgang der 
Zeilenkamera 1 1 abgegriffen und dem Monitor 22 zuge- 
leitet werden. Selbstverstandlich ist es auch moglich, 
das analoge Videosignal dem Eingang eines Oszillos- 
kops (nicht dargestelrt) zuzufuhren, um Eirtstellungen 
des Lichtstroms fur maximale Signalpegel je nach Film- 
dichte oder die Fokussierung und Lage der ZeUenka- 
mera 1 1 zu den Lichttonspuren 3zu prufen. 
[0042] Die Audioausgabeeinrichtung 23 ist zur 
Abhorkontrolle vorgesehen. In der Audioausgabeein- 
richtung 23 erfolgt eine Zeittransformation der abgeta- 
steten Oaten. Die Daten werden in -eine Audiodatei, z.B. 
eine WAV-Datei umgewandelt. Bei verlangsamter Abta- 
stung ist eine Transformation durch ^e'rtkompression 
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durchzufuhren, damit die Audioinformation in Echtzeit- 
lange uber den Lautsprecher 25 wiedergegebenen wer- 
den kann. Bei der Zeitkompression entstehen 
periodische Lucken in der Wiedergabe. Der Vortei! ist. 
dass bei verlangsamter Abtastung eine echte .Hinter- 
bandkontrolle' der auf den Lichttonspuren aufgezeich- 
neten Toninformationen moglich ist. Selbstverstandlich 
ist es auch moglich, anstelle analoger Audiosignale 
digitale Audiosignal fur eine Wiedergabe der Toninfor- 
mationen der abgetasteten Lichttonspuren wiederzuge- 
ben. In diesem Fall entfallt in der Audioausgabe- 
vorrichtung 23 eine D/A-Wandlung der verarbeiteten 
Bilddaten der Lichttonspuren. 

[0043] Zur Verkopplung der Zeilenfrequenz der Zei- 
lenkamera 11 mit der Transport geschwindigke it des 
Films 4 wird der Filmtransportservo 10 zur Steuerung 
der Motoren fur die Zahnrollen 8 und 9 durch Oaten 
geregelt, welche die Datenverarbeitungseinrichtung 13 
programmgesteuert anhand der Datenrate der von der 
Zeilenkamera 11 eintreffenden Daten erzeugt. Das 
Interface 18 ist fur eine bidirektionale Ubertragung von 
Daten zwischen dem Filmtransportservo 10 und Bussy- 
stem 15 ausgelegt, so dass ein Austausch von Soil- und 
Ist-Datenwerten der Drehzahlen der Zahnrollen 8 und 9 
moglich ist 

{0044] Die Fig. 3 zeigt den Bildausschnitt einer 
Lichttonspur in Sprossenschrift, die sehr zerkratzt und 
verschmutzt ist. Die quer zur Langsrichtung des Film 
aufgezeichnete Sprossenschrift entsteht durch Modula- 
tion der Belichtungsintensitat bei der Aufzeichnung. Das 
Streifenmuster mit verschiedenen Transparenzen ver- 
4auft proportional zur Ton information. Durch wiederhol- 
tes Kopieren des Films auf neue Filmtrager kommt es 
bei ungenauer Pos'rtionierung des Films und/oder der 
optischen Kopiereinrichtung zu einem Shading der 
homogenen Grauwerte. Ferner verursachen Staubpar- 
tikel auf dem Filmnegativ Oder Filmpositiv beim Kopie- 
ren dunkle Oder hellen Flecken auf den Lichttonspuren 
3. AuBerdern kann es beim wiederhoften Abspielen des 
Films zu mechanischen Beschadigungen in Filmlauf- 
richtung kommen; Filme konnen auch reiBen. Die Ton- 
spuren von geklebten Filmen werden durch sogenannte 
Tonfliegen in Form eines Dreiecks uberdeckt, so dass 
Tonstorungen entstehen. Wahrend eines Kopiervor- 
gangs kann einfallendes Licht an Stellen der Perforation 
Oder des Filmbildes periodische Helligkeitsschwankun- 
gen erzeugen, die sich in einem 24-Hz- bzw. 96-Hz- 
-Brumm in der wiedergegebenen Lichttoninformation 
auBern. 

{0045] Fur eine Filmtonrestaurierung hat es sich als 
vorteilhaft erwiesen, zunachst von den Bilddaten der 
Lichttonspuren 3, welche im Speicher 17 als RAW- 
Signal zwischengespeichert sind, eine Fixed- Pattern - 
Noise-(FPN)-Korrektur durchzufuhren, urn zum einen 
die unterschiedliche Sensitivitat der Pixel der Zeilenka- 
mera 1 1 auszugleichen.und zum anderen dieGenauig- 
keit zu erhohen und das Rauschen zu verringern. Dazu 
wird ohne eingelegtem Film von Bilddaten des von der 



Zeilenkamera 1 1 abgegebenen -Signals eine FPN-Oatei 
angelegt. 

[0046] In der Fig. 4 "rst die Struktur einer solchen 
FPN-Oatei dargestellt. Die FPN-Oatei ist feldfdrmig 

5 angelegt; sie enthalt in der dargestelften Ausfuhrun^ 
2048 Zeilen mit jeweils 512 Spalten. In einem solchen 
Oatenfeld werden 8 Bit breite Bilddaten derLichttonspu- 
ren 3 gespeichert. Fur jede der 512 Spalten wird uber 
2048 Zeilen der arithmetische Mittelwert in Filmlaufrich- 

io tung 26 ermitteft. Die Oatenworte der Mittelwerte wer- 
den anschlieBend in einer Breite von 1 6 Bit gespeichert. 
Die untere Zeile derFPN-Datei enthalt somit pro Spalte 
den fur die GCO-Pixel auf dem Sensor der Zeilenka- 
mera 1 1 gultigen Datenwertfur den Farbton WeiB. 

15 [0047] Die FPN-Korrektur wird anschlieBend bei 
eingelegtem Film so durchgefuhrt, dass die durch die 
Lichttonspurabtastung erzeugten Grauwerte der Bildda- 
ten, die unterhalb des ermittelten Mittelwertes liege n, im 
Sinne einer Konektur in der Helligkeh angehoben wer- 

20 den, bzw. solche Grauwerte, die oberhalb des Mittel- 
wertes liegen, in der Heliigkeit abgesenkt werden. Die 
FPN-Korrektur wirkt multiplikativ; es kommt eine multi- 
plikativen Mittelung gemaB der Funktion 

9 neu ( x ) = <9 fpn 1 9 fpn W) * 9 a it< x ) zur Anwendung. 
25 [0048] Die einzelnen Mittelwerte werden pro- 
grammgesteuert von der CPU 16 berechnet. Ein ent- 
sprechendes Datenverarbeitungsprogramm zur 
Steuerung der CPU 16 ist in dem Speicher 17 gespei- 
chert. 

30 [0049] Im Anschluss an die FPN-Korrektur wird 
eine Korrektur von Shading-Fehlern durchgefuhrt. 
Shading-Fehler entstehen durch schlechte Ausleuch- 
tung bei der Aufnahme sowohl am linken als auch am 
rechten Rand von Lichttonspuren 3. Das Shading wird 

35 vorteilhaft reprasentativ fur den gesamten Film ermit- 
telt. Versuche haben ergeben, dass es ausreichend ist, 
einen Film in drei Bereiche zu unterteilen. "Es wird das 
Shading eines Films jeweils uber ein Lichttonspurseg- 
ment von 20.000 Zeilen am Filmanfang, in Filmmitte 

«o und am Filmende festgesteltt. 

[0050] Vor der Ermittlung des Shading-Fehlers 
sind Randbereiche der Lichttonspuren, die keine 
Ton information enthalten, auszublenden, da *fehler- 
hafte Randbereiche der Lichttonspuren das Ergebnis 

45 verfatechen konnen. Ferner sind Storungen auszublen- 
den, die in Filmlaufrichtung auftreten. 8ei derErmittJung 
des Shading-Fehlers ist der mittlere Grauwert einer 
Zeile zu bestimmen. ErfirvdungsgemaB wird das 
Shading- Prof il durch ein Polynom 3. Grades angena- 

50 hert. fine Ausgleichskurve zur Korrektur der Shading- 
Fehler genugt der allgemeinen Funktion 
f(x) = y= a*x 3 +b*x 2 + c*x + d bzw. der zur Pro- 
grammierung geeigneteren Poly nomf unktion 

55 b6 

9<x) = £a l x i 
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{0051] Durch die M'rttelung des Shadings uber viele 
Zeiien und die Modellierung des Shadings mit einem 
Polynom niedrigen Grades werden lokale Bildfehler in 
den Lichttonspuren nicht nachgebildet. AuBerdem lasst 
sich mit einem Polynom niedrigen Grades der Rechen- 
autwand begrenzen. Die Korrektur der Shading-Fehlern 
geschieht durch zeilenweises Multiplizieren von Werten 
der Bilddaten der Lichttonspuren mit Werten der ermit- 
telten Ausgleichskurve. Mit der Korrektur des Film- 
Shadings rekonstruiert man eine weitgehend homo- 
gene Grauwertverteilung innerhalb derZeile. 
[0052] Nach der FPN- und Shading- Korrektur 
bestimmt man anhand eines Grauwerthistogramms 
einen Schwellwert. Pixel der Lichttonspuren 3, deren 
Datenwerte unterhalb des bestimmten Schwellwertes 
liegen, werden als fehlerhaft definiert. 
[0053] In der Fig. 5 ist ein Grauwerthistogramm 
nach erfolgter FPN- und Shading-Korrektur dargestellt. 
Das Histogramm zeigt die Grauwertverteilung einer 
Zeile, wobei auf der Ordinate die Haufigkeit und auf der 
Abzisse der Grauwest der Pixel autgetragen ist. Von 
einem solchen zeilenweisen Grauwerthistogramm aus- 
gehend wird der Grauwert mit der groBten Haufigkeit 
ermittelt. Dazu werden zwei Nullstellen 27 und 28 
gesucht, die einen Grauwertverlauf 29, d.h. einen Grau- 
wertberg, links und rechts eingrenzen. Die gefundenen 
Nullstellen 27 und 28 werden nachfolgend urn einen 
wahlbaren Betrag, z.B. 5 %, in Richtung des Grauwer- 
tes mit der maximalen Haufigkeit verschoben. Die so 
erhaltenen Nullstellen 30 und 31 bilden zwei Schwell- 
wertgrenzen. Pixel mit einem Grauwert zwischen die- 
sen beiden Schwellwertgrenzen konnen als fehlerfreie 
Pixel innerhalb einer Abtastzeile von Lichttonspuren 3 
angesehen werden. 

{0054] Die Grauwerte von erkannten fehlerhaften 
Pixeln werden durch den Mittelwert der fur richtig 
erkannten Grauwerte ersetzt. Wird in einer Abtastzeile 
der Lichttonspuren 3 kein fehierfreies Pixel erkannt, 
wird die gesamte Abtastzeile durch die vorhergehende 
Abtastzeile ersetzt Ist die Differenz zwischen den mitt- 
leren Grauwerten zweier Abtastzeilen groBer als ein 
bestimmter vorgegebener Wert : dann werden diese 
zwei Abtastzeilen pixeiweise in Filmlaufrichtung gemit- 
telt. Die berechneten Mittelwerte ersetzen die Werte der 
Datenworte der zuletzt abgetasteten Zeile. 
[0055] Die restaurierten Bilddaten der Lichttonspu- 
ren (3) werden schlieBlich vom RAW-Oateiformat in ein 
WAV-Dateiformat konvertiert und in dies em Datenfor- 
mat der Audioausgabeeinrichtung 23 (Fig. 1 ) zugefuhrt. 
Die Audioausgabeeinrichtung 23 wandelt die Oaten der 
WAV-Datei in analoge Audioinformationen urn und gibt 
sie ais analoge Audiosignale zur Wiedergabe durch 
einen Lautsprecher 25 an der Ausgangsklemme 24 
aus. Sollen die verarbeiteten Bilddaten als Audiodaten 
in nachfolgenden Geraten digital weiterverarbeitet wer- 
den, genugt eine Umwandlung der Bilddaten in entspre- 
chende Audiodaten. In diesem Fall kann in der 
Audioausgabeeinrichtung 23 eine O/A-Wandlung entfal- 



len und das digitale Audiosignal in einem WAV-Datetfor- 
mat direkt ausgegeben werden. 

[0056] Oamit die restaurierten Lichttoninformatio- 
nen lippensynchron zu den Filmbildern wiedergegeben 

5 werden konnen, wird von Daten der WAV-Datei -ein 
Timecodesignal abgeleitet. Wie eingangs dargelegt, 
werden in dem vorliegenden Ausfuhrungsbeispiel die 
Lichttonspuren (3) mit jeweils 2048 Zeiien a 512 Pixel 
pro Filmbild abgetastet. Bei einer Filmtransportge- 

io schwindigkeit von 6 Sildern pro Sekunde kommt man 
auf eine Taktrate von 48000 Audioabtastwerten pro 
Sekunde. Ausgehend von dieser Audiowort-Taktrate 
lasst sich ein A£S/€BU -Timecodesignal erzeugen, 
dass zur Synchronisierung paralleler Bildinformation 

75 herangezogen werden kann. 

[0057] Die durch langsame Abtastung erzeugten, 
nachfolgend mit verschiedenen digitalen Filtern bear- 
beiteten Bilddaten der Lichttonspuren (3) und -schlieB- 
lich in analoge Audioinformationen umgewandelten 

20 Audiosignale, konnen zusammen mit dem abgeleiteten 
AES/EBU-Timecodesignal auf einem DAT-Recorder 
aufgezeichnet und spater in Echtzeit synchron zum 
Timecode der parallelen Filmbilder wiedergegeben wer- 
den. 

25 [0058] Die erfindungsgemaBe Vorrichtung besteht 
aus handelsublichen Komponenten. Als Zeilenkamera 
11 kann eine OCO-Kamera der Firma DALSA mit der 
Typenbezeichnung CL-C3 512 A eingesetzt werden, die 
ein digitales Videosignal ubereine PS-422-Schnittstelie 

30 abgibt. 

[0059] Die Oatenverarbeitungsein richtung 13 kann 
ein Pentium-PC mit MMX-Prozessor sein, welcher mit 
einer Frame-Grabber-Karte IC-PCI der Firma Imaging 
Technology bestOckt ist, auf der ein Acquisition Modul 

35 AM-DIG fur die Verarbeitung digitaler Kamerasignale 
installiert ist. Fur die audio-visuelle Kontrolle der Licht- 
tonspuren 3 kann in dem Pentium-PC eine Grafikkarte 
..ATI Mach 64VT2" und eine Soundkarte .Terratec 
Soundsystem Base 1" vorgesehen sein. Zur Speiche- 

40 rung der Bilddaten der Lichttonspuren 3 kann eine 
schnelle 4 <3Byte gro6e Festplatte eingesetzt werden. 
Die Steuerung des Pentium-PC's kann ein Betriebssy- 
stem von Microsoft ubernehmen; die Umwandlung der 
restaurierten Bilddaten der WAV-Datei in analoge 

45 Audiosignale kann mit dem Programm WaveLab 2.0 
erfolgen.Die Anwendungsprogramme zur Korrekturder 
FPN- und Shading-Pehter sowie zur -Ermittelung von 
Schwellwertpegeln nach MaBgabe der zuvorbeschrte- 
benen Algorithmen sind in der Programmiersprache 

so C++ gesc h riebe n . 

Patentanspruche 

1. Vorrichtung zur Wiedergabe von Lichttonaufzeich- 
55 nungen fiir einen Filmabtaster mit einer opto/elek- 
troniscnen Wandlereinrichtung (1, 2\ 2", 11) zur 
Abtastung von auf Film {4) aufgezeichneten Licht- 
lonspuren <3), wetche an einem Ausgang (12) ein 



7 



BNSDOCID: «EP 10P1673A2_I^> 



13 



EP 1 091 573 A2 



14 



Bildsignals ausgibt, 
gekennzeichnet durch 

eine Einrichtung (14) zur Signaiaufbereitung 
welche an einem Eingang das Bildsignal vom 5 
Ausgang (12) der opto/el ektronisc he Wandle- 
reinrichtung (1, 2\ 2", 11) empfangt und als 
Bilddaten zwischenspeichert, 
eine Datenverait>eitungseinrichtung (16, 17) 
zur programmgesteuerten Verarbeitung der io 
zwischengespeicherten Bilddaten, und 
eine Einrichtung (23) zur Umwandlung verar- 
beiteter Bilddaten in Audiodaten fur die Wie- 
dergabe der auf den Lichttonspuren (3) 
aufgezeichneten Toninformationen. 75 

2. Vorrichtung nach Anspruch 1, 
dadurch gekennzeichnet, 

dass der Film (4) von einer Rlmtransportein- 20 
richtung (8 bis 10) in Langsrichtung transpor- 
tierbar und im Bereich der Lichttonspuren (3) 
von einem Bildsensor (11), insbesondere 
einem CCD-Zeilensensor, quer zur Langsrich- 
tung des Films (4) abtastbar ist. 25 

3. Vorrichtung nach Anspruch 1 , 
dadurch gekennzeichnet, 

dass die Datenverarbeitungseinrichrung (13) 30 
durch ein Programm so steuerbar ist dass die 
Abtastrate der opto/elektronischen Wandle- 
reinrichtung (1 , 2\ 2", 1 1 ) mit der von der Film- 
transporteinrichtung (8 bis 10) bestimmten 
Filmtransportgeschwindigkeit ze'rtlich verkop- 35 
pelt ist. 

4. Vorrichtung nach Anspruch 1 , 
dadurch gekennzeichnet . 

40 

dass die durch Abtasten der Lichttonspuren (3) 
erzeugten Bilddaten in einem RAW-Dateifor- 
mat in den Speicher (17) schreibbar sind, 
dass die Bilddaten des RAW-Oateiformats pro- 
gram mgesteuert aus dem Speicher (17) lesbar as 
und iiber ein Bussystem (16) einer CPU (16) 
zufuhrbar sind, 

dass die CPU (16) von empfangenen Bilddaten 
des RAW-Oateiformats durch programmge- 
steuerte Bildverarbeitung ein Datensignal in so 
einem WAV-Oateiformat abieitet und 
dass von dem Datensignal des WAV-Dateifor- 
mats ein Audiosignal zur Wiedergabe der auf 
den Lichttonspuren (3) aufgezeichneten Tonin- 
formationen erzeugbar ist. 55 

5. Vorrichtung nach Anspruch 1 , 
dadurch gekennzeichnet. 



dass die CPU (16) durch ein Programm so 
steuerbar ist, dass eine Fehleranalyse zur 
Detektion von Fehtstellen im Bereich der Licht- 
tonspuren <3) anhand von abgeleiteten BHdda- 
ten der Lichttonspuren <3) durchfuhrtoar rst und 
dass detektierte Fehtetellen fehlerverdeckbar 
sind. 

6. Vorrichtung nach Anspruch 1 , 
dadurch gekennzeichnet, 

dass ein Programm zur Steuerung der CPU 
(16) so gestaltet ist, dass die Bilddaten in 
einem RAW-Dateiformat einer Filterung unter- 
worfen werden. 

7. Vorrichtung nach Anspruch 1 , 
dadurch gekennzeichnet . 

dass ein Mittel zur Korrektur von Fixed-Pattern- 
Noise-Fehlern vorgesehen ist, bei welchem die 
ohne Abtastung von Film (4) erzeugten Bildda- 
ten einer bestimmte Anzahl von Zeilen zeilen- 
weise in ein Feld geschrieben werden, dann 
spartenweise aus dem Feld gelesen und einer 
muttiplikativen Korrektur gemaB der Funktion 

9 neu <*) = (9 FPN ' 9 FPN <*)) * g aIl <X) 

unterworfen werden. 

8. Vorrichtung nach Anspruch 1 , 
dadurch gekennzeichnet . 

dass ein Mittel zur Korrektur von Shading-Feh- 
lern vorgesehen ist, welches von Fixed-Pat- 
tern-Noise-korrigierten Bilddaten der 
Lichttonspuren (3) eine Ausgleichskurve 
gemaB der Polynomfunktion 

•=6 

9<x)=£a i x i 

t=0 



erzeugt, welche die durch Abtastung der Licht- 
tonspuren (3) erzeugten Bilddaten multiplikativ 
beeinflusst. 

9. Vorrichtung nach Anspruch 8, 
dadurch gekennzeichnet, 

dass das Mittel zur Korrektur vo n*S hading- Feh- 
lern ein Mittel zur -seitlicnen Begrenzung .-des 
Abtastbereichs der Lichttonspuren <3) auf- 
weist. 

10. Vorrichtung nach Anspruch 1, 
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dadurch qekennzeichnet . 

dass die CPU (16) durch ein Programm so 
steuerbar ist, dass Fehler in Bilddaten von 
Lichttonspuren (3), die in einer Sprossenschrift s 
aufgezeichnet sind, nach einem Grauwerthi- 
stogramm detektierbar sind. 

11. Vorrichtung nach einem der vorhergehenden 
Anspruche, io 
dadurch qekennzeichnet . 

dass ein Mittel zur Erzeugung eines Timecode- 
Signals vorgesehen ist, welches von RAW- 
Daten und/oder WAV- Date n und/oder Daten 15 
der Filmtransporteinrichtung des Filmabtasters 
ableitet 

12. Vorrichtung nach Anspruch 1, 

dadurch qekennzeichnet . 20 



13. Vorrichtung nach Anspruch 1 und 2, 

dadurch Qekennzeichnet . " 30 

dass zur Positionierung und/oder Fokussierung 
des Bildsensors (11) ein vom Bildsensor (11) 
erzeugtes Bildsignal einer Bildwiedergabevor- 



1 5. Vorrichtung nach Anspruch 1 , 

dadurch Qekennzeichnet . 45 

dass die opto/elektronische Wandlereinrich- 
tung (1, 2", 2", 11) eine Vorrichtung zur Nassa- 
btastung des Films (4) aufweist. 

so 

16. Verfahren zur Wiedergabe von Lichttonaufzeich- 
nungen, bei welchem auf einem Film (4) optisch 
aufgezeichnete Lichttonspuren (3) in ein elektri- 
sches Signal umwandelt werden, 

dadurch qekennzeichnet . 55 

dass von dem elektrischen Signal Bilddaten 
abgeleitet werden, 



dass die Bilddaten zwtschenspeichert werden, 
dass die zwischengespeicherten Bilddaten 
einer programmgesteuerten eildveraitoeitung 
unterworfen werden und 
dass durch die Bildverarbeitung erhaltene Bild- 
daten in Audiodaten fur eine Wiedergabe 
umgewandelt werden. 

17. Verfahren nach Anspruch 16, 
dadurch qekennzeichnet. 

dass die Bilddaten der abgetasteten durch 
Daten bestimmter/Grau we rte interaktiv korri- 
giert und/oder erganzt werden. 

18. Verfahren nach Anspruch 1 6, 
dadurch Qekennzeichnet . 

dass beim Vorliegen von Lichttonspuren i3) in 
Sprossenschrift ein Rauschanteil des Film- 
korns durch eine Fast-Fourier-Analyse der 
Bilddaten in Zeilenrichtung gemessen wird, 
und 

dass der gemessene Rauschanteil im Sinne 
einer Rauschreduzierung mit den Bilddaten in 
Spaltenrichtung multipliziert wird. 

1 9. Verfahren nach Anspruch 1 6, 
dadurch qekennzeichnet . 

dass die Bilddaten der abgetasteten Lichttons- 
puren <3) in folgender Reihenfolge einer Bild- 
verarbeitung unterworfen werden: 

g) Durchfuhrung einer Pixed-Pattern- 
Noise-Korrektur, 

h) Durchfuhrung einer globalen Vorfilte- 
rung, insbesondere einer planaren Tief- 
passfilterung, 

i) Abtrennen von Bilddaten an Randberei- 
chen der Lichttonspuren (3), 

j) Korrektur von Shading-Fen lem, 

k) Durchfuhrung einer lokalen Fehlerbe- 

handlung und 

I) Durchfuhrung einer globalen Nachfilte- 
rung. 

20. Verfahren nach Anspruch 1 6, 
dadurch qekennzeichnet . 

dass Werte von fehterhaften Bilddaten der 
Lichttonspuren (3) durch Mittel werte von ortlich 
und/oder zeitlich benachbarten fehierfreien 
Bilddaten ersetzt werden. 

21. Verfahren nach Anspruch 16, 
dadurch qekennzeichnet . 



dass die Position der opto/elektronische Wand- 
lereinrichtung (1, 2*. 2", 11) zur Abtastung der 
Lichttonspuren (3) unabhangig von der Posi- 
tion einer opto/elektronische Wan die rein rich- 25 
tung (1, 2', 2", 11) zur Abtastung von 
Filmbildfenstern einstellbar ist. 



richtung (22) zugefuhrt ist. 35 

14. Vorrichtung nach Anspruch 1, 
dadurch qekennzeichnet . 

dass die opto/elektronische Wandlereinrich- 40 
tung (1,2', 2", 11) eine Vorrichtung zur diffusen 
Beleuchtung des Films (4) aufweist. 
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dass die Werte mehrerer, in Zeilenrichtung auf- 
einanderfolgender fehlertiafter Bilddaten durch 
einen Mittelwert ersetzt werden, welcher dem 
mittleren Grauwert aufeinander tolgender Z«i- 
len entspricht. 5 
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(54) Vorrichtung und Verfahren zur Wiedergabe von Ltchttonaufzeichnungen 



(57) Zur Wiedergabe von Lichttonaufzeichnungen 
tastet eine opto/elektronische Wandlereinrichtung (1 , 2\ 
2", 11) die Lichttonspuren (3) eines Film (4) ab. Die er- 
zeugten Bilddaten der Lichttonspuren (3) sind einem 
Framegrabber (14) zur Zwischenspeicherung zugelei- 



tet. Eine Date n vera rbeitungseinrichtung (13) verarbei- 
tet programmgesteuert die zwischengespeicherten 
Bilddaten. Fur eine Tonwiedergabe werden die verar- 
beiteten Silddaten der Lichttonspuren <<3) nachfolgend 
in digitale Audiodaten und/oder analoge Tonsignale um- 
gewandelt. 
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(54) Apparatus and Method for the Reproduction of Optical Sound Recordings 

(57) For the reproduction of optical sound 
recordings an opto/ electronic converter device (1, 2', 
2", 11) scans the optical sound tracks (3) of a film (4). 
The generated image data of the optical sound tracks 
(3) are conducted to a frame grabber (14) for 
intermediate storage. A data processing device (13) 
under program control processes the intermediately 
stored image data. The processed image data of the 
optical sound tracks (3) are subsequently converted 
into digital audio data and/ or analog audio signals 
for audio reproduction. 

FIG! 
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REF. _L_ DOCKET £&b£o£ 

CORRES. COUNTRY: 

COUNTRY: P^T 



Specification 



[0001] The invention relates to an apparatus for the reproduction of optical sound recordings for a 
film scanner with an opto/ electronic converter unit for scanning the optical sound tracks recorded on 
film, which outputs a video signal at an output. The invention relates further to a method for the 
reproduction of optical sound recordings. 

[0002] In the case of 35-mm movie films audio information is recorded on optical sound tracks which 
are located between image information and lateral perforation holes. For the reproduction of the sound 
information the film is transported at a rate of 24 frames per second. During the film transport a light 
beam is directed onto the optical sound tracks. The light beam is modulated by transparency differences 
on the optical sound tracks and directed onto a light-sensitive sensor. For the loudspeaker reproduction 
the analog audio signal output by the light-sensitive sensor is amplified. 
[0003] Different optical sound tracks exist. In the so-called variable density recording the 
transparency of the optical sound track is proportional to the recorded modulation amplitude; in the so- 
called single-edged variable-area sound track it is the width of the clear area. For reducing distortions 
simple duplex variable-area and two-fold duplex variable-area tracks were introduced, which are 
adjacent to one another and which comprise the same modulation data. For stereophonic audio 
reproduction double two-sided optical sound tracks are employed. 

[0004] Older and frequently used films often show two types of errors. For one, these involve dirt 
and dust on the surface of the film, for another scratches in die advance direction of the film, so-called 
sound scratches, which are caused by mechanical contact of the film guidance elements with the film 
surface. Optical sound tracks are especially sensitive to disturbances by dirt and scratches, whose 
number increases with the number of times the copy is projected. Distortions of hissing sounds of the 
language, a so-called Donner effect, can be generated through scattered light effects of the variable-area 
recording. Nonlinear distortions in the variable-density recording can be generated through a nonlinear 
characteristic film curve, which is present, for example when scanning sound negatives. Through the 
relatively large aperture of the slit diaphragm the frequency response is restricted to approximately 8 
kHz. 

[0005] For the restoration of old movie films, the image portion is today copied onto a new film base 
and the optical sound track is transferred as a monotrack onto magnetic film to prevent that through 
optical copying of the optical sound tracks the audio tracks, which are often scratched and partially 
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disturbed by dirt, are transferred onto the new film base. 

Further through subsequent audio processing with electronic filters and manual working attempts are 
made to remove clicking and crackling noises from the original sound. 

[0006] In DE 197 29 201 Al a film scanner with a device for scanning optical sound tracks on a tape- 
shaped base has already been described, in which the audio information is scanned with an 
opto/ electronic converter device perpendicularly to the direction of motion of the base. The 
opto/ electronic converter device scans the audio information line-by-line in order to generate scanning 
values for digital two-dimensional filtering. The optical sound tracks can therein be scanned with a CCD 
line sensor or with a light spot directed transversely over the audio tracks for the control of a photosensor. 
[0007] The present invention addresses the problem of providing an apparatus and a method for the 
reproduction of optical sound recordings according to the type described in the introduction, which 
permits the elimination of disturbances. 

[0008] This problem is solved through a device for signal processing, which at one input receives the 
video signals from the output of the opto/ electronic converter device and intermediately stores them as 
video data, a data processing device for the program-controlled processing of the intermediately stored 
image data, and a device for the conversion of the processed image data into audio data for the 
reproduction of the sound information recorded on the optical sound tracks. 

[0009] The invention has the advantage that the signal generated by scanning the optical sound tracks 
is no longer processed as an analog audio signal, as was previously the case, but rather as a video signal. 
The data values of an image of the scanned optical sound tracks are first intermediately stored and 
processed under program control in an image processing process, before the image data values are 
converted into audio data values and subsequently a sound signal is generated for the reproduction of the 
optical sound information. 

[0010] An embodiment of the invention provides that the film is transported by a film transporting 
device in the longitudinal direction and is scanned in the region of the optical sound tracks by an image 
sensor, in particular a CCD line sensor, transversely to the longitudinal direction of the film. In a film 
scanner, which is already equipped for continuous film transport and for line-by-line scanning of film 
images, a CCD line camera, operated separately of the image scanning for the scanning of the optical 
sound tracks, can readily be adjusted in terms of position, rotation and focusing. An available 
illumination system for the image scanning can advantageously also be employed for the CCD line 
camera of the optical sound tracks. 

[0011] Another embodiment provides that the data processing device is controllable through a 
program, that the scanning rate of the opto-electronic converter device can be coupled in time with the 
film transport rate determined by the film transport device. Through the time coupling not only the 



number of lines per film image remains identical at different film transport speeds but rather also the data 
quantity per film image. 

[0012] Through this measure, in addition, differing film rates can be selected. Apart from the 
scanning in real time with 24 frames per second, for the adaptation to the maximum data rate of the 
opto/ electronic converter device rates of 12 and 6 frames per second can also be set. Such low data rates 
may be desired if one wishes to employ slow, and thus cost-effective, opto/ electronic converter devices. 
If, moreover, the scanning rate for the audio signal is coupled with the horizontal frequency of the 
opto/ electronic converter device, further advantages are obtained. With scanning of, for example 2000 
lines per frame, 2000 lines with 512 pixels each can be defined as the image frame for the optical sound 
tracks. With a film of 6 frames per second, a horizontal frequency of 12 kHz is achieved. Through later 
conversion of the image data into audio data, for 24 frames per second a line sequence of 48 kHz is 
attained, i.e. one line corresponds to an audio scarining value according to the AES/EBU standard. With 
this definition advantageously expensive interpolation filters for the conversion to scanning frequencies 
according to the AES/EBU standard can be omitted. 

[0013] If, furthermore, the clock frequency for the film transport servo of a film scanner is coupled 
with the horizontal frequence of the opto/ electronic converter device, for example the horizontal 
frequence of a CCD camera, a drift-free coupling of audio and video information is attained such that, 
after the program-controlled processing of data values of the optical sound tracks, the precise 
synchronous joining of image and sound is possible. 

[0014] A further development of the invention provides that image data generated by scanning the 
optical sound tracks can be written in a RAW file format into the memory, that the image data of the 
RAW file format can be read under program control from the store and can be conducted via a bus 
system to a CPU, that the CPU derives from received image data of the RAW file format through 
program-controlled image processing a data signal in a WAV file format and that from the data signal of 
the WAV file format an audio signal can be generated for the reproduction of the audio information 
recorded on the optical sound tracks. 

[0015] In a preferred embodiment the CPU is controllable by a program, that an error analysis for the 
detection of error sites in the region of the optical sound tracks can be carried out in conjunction with 
derived image data of the optical sound tracks and that errors detected at error sites can be concealed. 
The data values of the optical sound tracks generated by scanning are initially treated as data values of 
image content. The data values of the optical sound tracks viewed as image content are examined with 
means known from image processing in order to determine error sites in the film, which may be caused 
by scratches and/or dirt. A process and circuits for detecting and concealing scratches and/ of dirt on 
film is known for example from DE 44 32 787 Al. 
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[0016] Complex data formats with header generation lead to a low transfer data rate. In an 
advantageous embodiment of the invention a program for controlling the program-controlled data 
processing device is formed such that the image data are intermediately stored in a RAW file format 
before they are subjected to filtering. The RAW file format presents itself as a simple configuration of the 
pixels without compression process and can generate files of any desired length. In the RAW file format 
an "audio image" with 512 pixels horizontally and 2000 lines vertically at a quantization of 8 bits requires 
a storage capacity of 1 Mbytes. At a film transport rate of 24 frames per second, for the duration of one 
second 24 Mbytes of data must be generated. 

[00171 Due to production differences, the CCD sensors employed for scanning the optical sound 
tracks, have different sensitivities. In the scanned signal an interference structure is formed which is 
denoted as 'fixed pattern noise' (FPN). FPN can also be generated by irregular exposure of the film. 
[0018] In an advantageous embodiment of the invention a means for the correction of fixed pattern 
noise errors is provided, in which the image data generated without scanning of film of a specific number 
of lines are written line-by-line into a field, subsequently are read column-by-column from the field and 
subjected to a multiplicative correction according to the function 

gnew (X) = (JFPN / gFFN (x)) * gold(x). 

[0019] A one-dimensional horizontal FPN correction is carried out in the local domain. The correction 
takes place by division and scaling of the optical sound track pixels with associated pixels, which were 
generated under program control before optical sound track scanning, thereby that, with the film image 
window open, from data of a multiplicity of lines, for example 2048 lines with 512 pixels each, through 
arithmetic means formation the gray values are calculated in the vertical direction and are intermediately 
stored as FPN image together with the associated image file. 

[0020] It is also possible to trace disturbances back to poor exposure during the film recording or to 
copying errors. Such errors are denoted as shading errors. Shading errors occur frequently on the left 
and right margin of the optical sound tracks. It may occur that portions of the film have different local 
shading errors. 

[0021] According to an advantageous further development of the invention a means for correcting 
shading errors is provided, which generates from image data of the optical sound tracks, corrected for 
fixed pattern noise, a compensation curve according to the polynomial function 

i=6 

g(x)= Z aiX J 
i=0 

which has a multiplicative effect on the image data generated by scanning the optical sound tracks. The 



5 



margin regions of the optical sound tracks, which do not contain audio information, are advantageously 
excluded. 

[0022] Copying errors or scattered light can often cause errors on the margin of optical sound tracks in 
variable density recording, which lie in the film perforation and/or on the film frame bar. These errors 
are characterized by disturbance frequencies of 24 Hz and their upper harmonic waves. In contrast to 
conventional sound restoration processes, which employ steep notch filters for filtering out the 24 Hz 
components, in the optical sound track processing according to the invention no disturbance artefacts are 
generated. 

[0023] An advantageous embodiment of the invention provides that the CPU is controllable by a 
program such that errors in image data of optical sound tracks, which are recorded in variable density 
recording, are detectable according to a half-tone histogram. 

[0024] The image information stored chemically on a film, as a rule, is in parallel accompanied by 
time code information in order to localize specific frames on the film. An embodiment of the invention 
provides that for the sound information on the optical sound tracks time code information is also 
generated. This takes place according to the invention with means for generating a time code signal 
which derives from RAW data and/ or WAV data and/ or data of the film transport device of the film 
scanner. 

[0025] According to a further embodiment of the invention, it is provided that the position of the 
opto/ electronic converter device for the line-by-line scanning of the optical sound tracks recorded on film 
is settable independently of the position of an opto/ electronic converter device for scanning the images 
recorded on the film. Thereby the position of an opto/ electronic converter device for the optical sound 
tracks can be highly precisely adjusted with respect to the position of the optical sound tracks recorded on 
the film. To check the setting of light source and line sensor 11, it is advantageous to reproduce the 
optical sound tracks as an image on an image monitor and/ or to represent the audio signals generated by 
scanning the optical sound tracks on the viewing screen of an oscilloscope and/ or to monitor the audio 
signals derived from the optical sound tracks. To the oscilloscope is advantageously supplied an analog 
video signal of the line sensor 11. On the screen of the oscilloscope settings for the light current, the 
focusing or also the track slope (azimuth) are checked for one line in the case of symmetric track image. 
[0026] In contrast to the previously customary optical sound scanning, the optical sound scanning 
according to the present invention takes place "free of transformer". From the optical sound tracks audio 
signals can be derived, which comprise frequencies in the range from 0 to 70 Hz. To maintain the 
standard, these low-frequency signal components are suppressed through highpass filtering. 
Correspondingly, for audio recording after to the so-called Academy frequency response the range above 
10 kHz should be suppressed by lowpass filtering. Possible gap leakage of the CCD line sensor can be 
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compensated according to a sin(x)/x function. 

[0027] The effects of film scratches and scrapes on the optical sound tracks of a film can be decreased 
by using an opto/ electronic converter device with diffuse mumination device. Another advantageous 
solution comprises using an opto/ electronic converter device with a means for wet-scanning of the film. 
[0028] An advantageous further development of the invention provides that values of erroneous 
image data of the scanned optical sound tracks are replaced by mean values of locally and/ or temporally 
adjacent error-free image data. For error concealment of relatively large error clusters in the horizontal 
direction it is advantageous that the values of several erroneous image data, which are sequential in the 
horizontal direction, are replaced by a mean value which corresponds to the average gray value of 
successive lines. 

[0029] To decrease noise components and intermodulation products in audio signals during the 
reproduction of optical sound recordings in variable density recording, it is proposed according to a 
further development of the invention that the noise component of film grain is measured by a Fast Fourier 
analysis of the image data in the horizontal direction and that the measured noise component is 
multiplied within the scope of a noise reduction by the image data in the vertical direction. 
[0030] For simplification and for increasing the effectiveness of the correction measures, it is 
advantageous if the image data of the scanned optical sound tracks are subjected to an image processing 
in the following sequence: 

a) carrying out a fixed pattern noise correction, 

b) carrying out a global prefiltering, in particular a planar lowpass filtering, 

c) separating image data at the margin regions of the optical sound tracks (3), 

d) correcting of shading errors, 

e) carrying out a local error treatment, and 

f) carrying out a global postfiltering. 

[0031] In the following the invention will be explained in conjunction with embodiment examples 
represented in the drawing. Therein depict: 

Fig. 1 a scanning device for optical sound tracks and a block circuit diagram for processing image 
data of scanned optical sound tracks according to the invention, 

Fig. 2 a piece of film strip of a 35 mm movie film, 

Fig. 3 an optical sound track in variable density recording with scratches in the direction of film 
advance, 
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Fig. 4 a basic representation of a file structure for calculating fixed pattern noise, and 



Fig. 5 representation of the gray value course of a scanning line. 

[0032] Identical structures are provided with identical reference symbols. 

[0033] In Figure 1, 1 denotes an illumination source. The light of the Rumination source 1 is directed 
via a condensor optics T and 2" onto optical sound tracks 3 of a film 4. 

[0034] Figure 2 shows the position of the optical sound tracks 3 on film 4. In the case of a 35 mm 
movie film the optical sound tracks 3 have a track width of 2.5 mm; they are on one side between 22-mm 
wide film frame windows 5 and a first perforation track 6\ A second perforation track 6" extends on the 
other side of the film frame windows 5. The perforation tracks 6' and 6" serve for transporting the film. 
The frame height is 16 mm in a 35 mm movie film; the picture stand is 19 mm. The space between the 
him image windows 5 is denoted as frame bar 7. 

[0035] For transporting the film two sprocket wheels 8 and 9 engage perforation holes of the 
perforation tracks 6' and 6" extending at the side of film 4. The sprocket wheels 8 and 9 are operationally 
connected to motors (not shown), whose number of rotation is regulated by a film transport servo 10. The 
transport rate of a 35-mm movie film is 24 frames per second (= 45.6 cm/s). 

[0036] On the opposing side of film 4 is disposed a line camera 11 for receiving the light modulated by 
the optical sound tracks 3. The line camera 11 contains a CCD line sensor with 512 image sensors. The 
line camera 11 outputs an RS 422 data signal in a word width of 8 bits per pixel. Via a data input 12 the 
RS 422 data signal of the optical sound tracks 3 reaches a program-controlled data processing device 13. 
[0037] The data processing device 13 includes a frame grabber 14 whose input is connected to the data 
input 12 of the data processing device 13. An output of the frame grabber 14 is connected to a bus system 
15. To the bus system 15 are further connected: a CPU 16, a store 17 for program and data storage, an 
interface 18 with a terminal 19 for transmitting servo data from and to the film transport servo 10, a video 
output device 20 with an output terminal 21 for transmitting a video signal to a monitor 22 and an audio 
output device 23 with an output terminal 24 for transmitting an audio signal to a loudspeaker 25. 
[0038] The frame grabber 14 processes the serial image data sequence of the optical sound tracks 3 
generated by the line camera 11, stores them intermediately and conducts them in a resolution of 8 bits 
via the bus system 15 to a store 17, in which the image data are stored in a RAW file format. The frame 
grabber 14 comprises an output (shown in dashed lines) for synchronizing the line camera 11. For 
limiting the data transmission rate, the scanning frequency of 24 frames per second can be reduced to 6 
frames. If the optical sound tracks 3 are scanned at 2000 lines per film frame, with a film transport rate 
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reduced to 6 frames a Nyquist frequency of 24 kHz is obtained. In this case for one second of digitized 
film sound, a data quantity of 24 Mbytes must be stored in store 17. 

[0039] The film sound picture data generated by frame grabber 14 are preferably written into a plate 
store of store 17 due to the large data quantity. Application programs for processing the data of the 
optical sound tracks as well as for the regulation of the film transport are stored in RAM and ROM stores 
of store 17. 

[0040] In order to check during the optical sound track scanning the settings of the light source 1 and 
of the line camera as well as the audio information through image representation, the video output device 
20 is provided, which converts the digital image data of the line camera 11 into an analog video signal for 
representation on the monitor 22. 

[0041] For the image check of the optical sound tracks an analog video signal can also be tapped 
directly from the output of the line camera 11 and be supplied to the monitor 22. It is understood that it is 
also possible to conduct the analog video signal to the input of an oscilloscope (not shown), in order to 
check the settings of the light current for maximal signal level depending on film density or focusing and 
position of the line camera 11 with respect to the optical sound tracks 3. 

[0042] The audio output device 23 is provided for audio monitoring. In the audio output device 23 a 
time transformation takes place of the scanned data. The data are converted into an audio file, for 
example a WAV file. With slowed scanning a transformation through time compression must be carried 
out so that the audio information can be reproduced in real time length via the loudspeaker 25. In the 
time compression periodic gaps in the reproduction are generated. The advantage is that with slowed 
scanning a real "tape check" of the audio information recorded on the optical sound tracks is possible, It 
is understood that it is also possible, instead of analog audio signals, to reproduce digital audio signals for 
the reproduction of the sound information of the scanned optical sound tracks. In this case in the audio 
output system 23 a D/A conversion of the processed image data of the optical sound tracks is omitted. 
[0043] For coupling the horizontal frequency of the line camera 11 with the transport rate of film 4, the 
film transport servo 10 for the control of the motors for the sprocket wheels 8 and 9 is regulated by data, 
which are generated by the the data processing device 13 under the control of programs in conjunction 
with the data rate of the data arriving from the line camera 11. The interface 18 is laid out for a 
bidirectional transmission of data between the film transport servo 10 and the bus system 15 such that an 
exchange of nominal and instantaneous data values of the rotational number of the sprocket wheels 8 and 
9 is possible. 

[0044] The image segment of an optical sound track in variable density recording is shown in Figure 
3, which is highly scratched and dirty. The variable density recording recorded transversely to the 
longitudinal direction of the film is generated through modulation of the exposure intensity during 
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recording. The strip pattern with different transparencies runs proportionally to the sound information. 
By repeated copying of the film onto new film bases a shading of the homogeneous gray values occurs 
with imprecise positioning of the film and/ or of the optical copying device. Furthermore, dust particles 
on the film negative or film positive cause during the copying dark or light spots on the optical sound 
tracks 3. Moreover, during repeated playback of the film mechanical damage can occur in the direction of 
film advance. Films can also tear. The sound tracks of glued films are covered by so-called sound flies in 
the form of triangles such that audio disturbances are generated. During a copying process incident light 
at sites of the perforation or of the film frame can generate periodic brightness fluctuations, which are 
expressed in a 24 Hz or 96 Hz hum in the reproduced optical sound information. 

[0045] For a film sound restoration it was found to be advantageous to carry out first from the image 
data of the optical sound tracks 3, which are intermediately stored in store 17 as RAW signal, a fixed 
pattern noise (FPN) correction in order to balance, for one, the different sensitivities of the pixels of the 
line camera 11 and, for another, to increase the accuracy and decrease the noise. For this purpose without 
a film loaded, an FPN file is set up from the image data of the signal output by the line camera 11. 
[0046] In Figure 4 the structure of such an FPN file is depicted. The FPN file is laid out in the form of 
a field; it contains in the depicted embodiment 2048 lines with 512 columns each. In such a data field 8-bit 
wide image data of the optical sound tracks 3 are stored. For each of the 512 columns the arithmetic mean 
is formed over 2048 lines in the direction of film advance 26. The data words of the mean values are 
subsequently stored in a width of 16 bits. The lower line of the FPN file thus contains per column the data 
value for the color white valid for the CCD pixel on the sensor of the line camera 11. 
[0047] The FPN correction is subsequently carried out with the film loaded, such that 
the gray values of the image data generated by the optical sound track scanning, which are below the 
determined mean value, are raised in brightness in the sense of a correction, or such gray values, which 
are above the mean value, are lowered in brightness. The FPN correction acts multiplicatively; a 
multiplicative average formation is applied according to the function 

gnew (X) = (gFPN/gFPN (x)) * gold(x). 

[0048] The discrete mean values are calculated by the CPU 16 under program control. A 
corresponding data processing program for the control of the CPU 16 is stored in store 17. 
[0049] Following the FPN correction, a correction of shading errors is carried out. Shading errors are 
generated by poor illumination during the recording at the left as well as also at the right margin of 
optical sound tracks 3. The shading is advantageously determined representatively for the entire film. 
Investigations have shown that it is sufficient to divide a film into three regions. The shading of a film is 
detected in each instance via an optical sound track segment of 20,000 lines at the tegjnning of the film, at 
the center and the end of the film. 
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[0050] Before the determination of the shading error, margin regions of the optical sound tracks which 
do not contain any sound information must be faded out, since erroneous margin regions of the optical 
sound tracks can falsify the result. Further, disturbances must be faded out, which occur in the direction 
of advance of the film. When determining the shading error, the mean gray value of one line is to be 
determined. According to the invention the shading profile is approximated by a polynomial of third 
order. A compensation curve for the correction of the shading errors fulfills the general function f(x) = y 
= a* x 3 + b*x 2 + c*x + d or of the polynomial function more suitable for prograrnming 

i=6 

g(x)= Z aix* 
i=0 

[0051] Through the averaging of the shading over many lines and the modeling of the shading with a 
polynomial of low order, local bit errors are not imaged in the optical sound tracks. In addition, with a 
polynomial of low order the calculating expenses can be limited. The correction of the shading errors 
occurs through line-by-line multiplication of values of the image data of the optical sound tracks by 
values of the determined compensation curve. With the correction of the film shading a largely 
homogeneous gray value distribution within the line is reconstructed. 

[0052] After the FPN and the shading correction, a threshold value is determined in conjunction with 
a gray value histogram. Pixels of the optical sound tracks 3, whose data values are below the determined 
threshold value, are defined as being erroneous. 

[0053] In Figure 5 is depicted a gray value histogram after the FPN and shading correction. The 
histogram shows the gray value distribution of a line, where on the ordinate the frequency and on the 
abscissa the gray value of the pixels is plotted. Building on such a line-by-line gray value histogram, the 
gray value with greatest frequency is determined. For this purpose two zero sites 27 and 28 are sought, 
which delimit a gray value course 29, i.e. a gray value mounting, at the left and the right. The located 
zero sites 27 and 28 are subsequently shifted by a selectable amount, for example 5%, in the direction 
toward the gray value with the maximal frequence. The zeros sites 30 and 31 obtained thus form two 
threshold value limits. Pixels with a gray value between these two threshold value limits can be 
considered to be error-free pixels vrithin a scanning line of optical sound tracks 3. 

[0054] The gray values of detected erroneous pixels are replaced by the mean value of the gray values 
detected to be correct. If in a scanning line of the optical sound tracks 3 no error-free pixel is detected, the 
entire scanning line is replaced by the preceding scanning line. If the difference between the average gray 
values of two scanning lines is greater than a certain predetermined value, these two scanning lines are 
averaged pixel-by-pixel in the direction of film advance. The calculated mean values replace the values of 
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the data words of the last scanned line. 

[0055] The restored image data of the optical sound tracks 3 are lastly converted from the RAW file 
format into a WAV file format and in this data format supplied to the audio output device 23 (Fig. 1). The 
audio output device 23 converts the data of the WAV file into analog audio information and outputs them 
to the output terminal 24 as analog audio signals for the reproduction through a loudspeaker 25. If the 
processed image data are to be digitally processed further as audio data in succeeding apparatus, a 
conversion of the image data into corresponding audio data is sufficient. In this case, in the audio output 
device 23 a D/A conversion can be omitted and the digital audio signal can be output directly in a WAV 
file format. 

[0056] In order for the restored optical sound information to be able to be reproduced such that it is 
synchronous with lip movements in the film frames, a time code signal is derived from data of the WAV 
file. As explained at the beginning, in the present embodiment example the optical sound tracks 3 are 
scanned with 2048 lines at 512 pixels per film frame. At a film transport rate of 6 frames per second, one 
arrives at a clock rate of 48000 audio scanning values per second. Building on this audio word clock rate, 
an AES/EBU time code signal can be generated which can be drawn on for the synchronization of parallel 
image information. 

[0057] The image data of the optical sound tracks 3 generated by slow scanning and subsequently 
processed with different digital filters, and the audio signals, lastly converted into analog audio 
information, can be recorded together with the derived AES/EBU time code signal on a DAT recorder 
and later reproduced in real time synchronously with the time code of the parallel film frames. 
[0058] The apparatus according to the invention consists of commercially available components. As 
the line camera 11 can be employed a CCD camera by DALSA with the type designation CL-C3 512 A, 
which outputs a digital video signal via an RS 422 interface. 

[0059] The data processing device 13 can be a Pentium PC with MMX processor, which is equipped 
with a frame grabber card 1C-PCI by Imaging Technology, on which an Acquisition Module AM-DIG is 
installed for processing digital camera signals. For the audio/ visual check of the optical sound tracks 3 
can be provided in the Pentium PC a graphics card "ATI Mach 64VT2" and a sound card "Terratec Sound 
System Base 1". For storing the image data of the optical sound tracks 3 a fast 4 Gbyte fixed disk can be 
employed. The control of the Pentium PC can be assumed by an operating system by Microsoft; the 
conversion of the restored image data of the WAV file into analog audio signals can take place with the 
program WaveLab 2.0. The application programs for the correction of the FPN and shading errors as well 
as for the determination of threshold value levels according to the previously described algorithms are 
written in the programming language C++. 
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Patent Claims 



1. Apparatus for the reproduction of optical sound recordings for a film scanner with an 

opto/ electronic converter device (1, 2\ 2", 11) for scanning optical sound tracks (3) recorded on 
film (4), which outputs at an output (12) a picture signal, 
characterized by 

a device (14) for signal processing, which at an input receives the video signal from the output 
(12) of the opto/electronic converter device (1, 2', 2", 11) and stores it intermediately as image 
data, 

a data processing device (16, 17) for the program-controlled processing of the intermediately 
stored image data, and 

a device (23) for the conversion of processed image data into audio data for reproduction of the 
sound information recorded on the optical sound tracks (3). 

2. Apparatus as claimed in claim 1, 
characterized in 

that the film (4) can be transported by a film transport device (8 to 10) in the longitudinal 
direction and can be scanned in the region of the optical sound tracks (3) by an image sensor (11), 
in particular a CCD line sensor, transversely to the longitudinal direction of the film (4). 

3. Apparatus as claimed in claim 1, 
characterized in 

that the data processing device (13) is controllable by a program such that the scanning rate of the 
opto/electronic converter device (1, 2', 2", 11) is coupled in time with the film transport rate 
determined by the film transport device (8 to 10). 
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Apparatus as claimed in claim 1, 
characterized in 

that the image data generated by scanning the optical sound tracks (3) can be written in a RAW 
file format into the store (17), 

that the image data of the RAW file format can be read from the store (17) under program control 
and can be supplied across a bus system (15) to a CPU (16), 

that the CPU (16) derives from the received image data of the RAW file format through program- 
controlled image processing a data signal in a WAV file format, and 
that from the data signal of the WAV file format an audio signal can be generated for 
reproduction of the sound information recorded on the optical sound tracks (3). 

Apparatus as claimed in claim 1, 
characterized in 

that the CPU (16) can be controlled by a program such that an error analysis for detecting error 
sites in the region of the optical sound tracks (3) can be carried out in conjunction with derived 
image data of the optical sound tracks and that errors detected at error sites can be concealed.. 

Apparatus as claimed in claim 1, 
characterized in 

that a program for the control of the CPU (16) is formed such that the image data are subjected to 
filtering in a RAW file format. 

Apparatus as claimed in claim 1, 
characterized in 

that means for the correction of fixed pattern noise errors are provided, in which the image data 
generated without scanning of film (4) of a specific number of lines are written line-by-line into a 
field, subsequently are read column-by-column from the field and subjected to a multiplicative 
correction according to the function 

gnew (X) = (gFFN/gFFN (*)) * gold (x). 

Apparatus as claimed in claim 1, 
characterized in 

that means for the correction of shading errors are provided which generate from fixed pattern 
noise-corrected image data of the optical sound tracks (3) a compensation curve according to the 
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polynomial function 



i=6 

g(x)=E a iX i 
i=0 

which has a multiplicative effect on the image data generated by scanning the optical sound 
tracks (3). 

Apparatus as claimed in claim 8, 
characterized in 

that the means for the correction of shading errors comprise a means for laterally delimiting the 
scanning region of the optical sound tracks (3). 

Apparatus as claimed in claim 1, 
characterized in 

that the CPU (16) is controllable by a program such that errors in image data from optical sound 
tracks (3) recorded in variable density recording are detectable according to a gray value 
histogram. 

Apparatus as claimed in one of the preceding claims, 
characterized in 

that means are provided for generating a time code signal which is derived from RAW data 
and/ or WAV data and/ or data of the film transport device of the film scanner. 

Apparatus as claimed in claim 1, 
characterized in 

that the position of the opto/ electronic converter device (1, 2\ 2", 11) for scanning the optical 
sound tracks (3) can be set independently of the position of an opto/ electronic converter device 
(1, 2\ 2 M , 11) for scanning film image windows. 

Apparatus as claimed in claim 1 and 2, 
characterized in 

that for positioning and/or focusing of the image sensor (11) a video signal generated by the 
image sensor (11) is supplied to an image reproduction apparatus (22). 



16 



Apparatus as claimed in claim 1, 
rhaTarterized in 

that the opto/electronic converter device (1, 2', 2", 11) comprises an apparatus for the diffuse 
murriination of the film (4). 

Apparatus as claimed in claim 1, 
rharacterized in 

that the opto/electronic converter device (1, 2', 2", 11) comprises an apparatus for the wet- 
scanning of film (4). 

Method for reproducing optical sound recordings, in which optical sound tracks (3) optically 
recorded on a film (4) are converted into an electric signal, 
characterized thereby 

that from the electric signal are derived image data, 
that the image data are placed into intermediate storage, 

that the intermediately stored image data are subjected to a program-controlled image processing, 
and 

that image data obtained through the image processing are converted into audio data for 
reproduction. 

Method as claimed in claim 16, 
rharacterized in 

that the image data of the scanned gray values determined by data are interactively corrected 
and/ or supplemented. 

Method as claimed in claim 16, 
rharacterized in 

that in the presence of optical sound tracks (3) in variable density recording a noise component of 
the film grain is measured by a Fast Fourier analysis of the image data in the horizontal direction, 
and 

that the measured noise component is multiplied in the sense of a noise reduction by the image 
data in the vertical direction. 

Method as claimed in claim 16, 
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characterized in 

that the image data of the scanned optical sound tracks (3) are subjected to image processing in 

the following sequence: 

g) carrying out a fixed pattern noise correction, 

h) carrying out a global prefiltering, in particular a planar lowpass filtering, 

i) separating of image data at margin regions of the optical sound tracks (3), 
j) correcting shading errors, 

k) carrying out a local error treatment, and 

1) carrying out a global postfiltering. 

Method as claimed in claim 16, 
rhararterized in 

that values of erroneous image data of the optical sound tracks (3) are replaced by mean values of 
locally and/ or time adjacent error-free image data. 

Method as claimed in claim 16, 
characterized in 

that the values of several erroneous image data which succeed one another in the horizontal 
direction are replaced by a mean value which corresponds to the mean gray value of successive 
lines. 
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